
import os

# основные библиотеки DA
import pandas as pd
import numpy as np
import math as mth

# библиотеки работы с датой и временем
from datetime import timedelta
from datetime import datetime

# библиотеки визуализации
import plotly.express as px
from plotly import graph_objects as go

# статистические библиотеки
from scipy import stats as st


# определение функции загрузки данных
# ======================================================
# на вход подаётся:
#     file_name - имя файла
# на выходе - датафрейм с загруженными данными
# в случае ошибки при загрузке файла бросается искоючение
# ValueError
# ======================================================
def open_file(file_name, sep=','):
    pth1 = '/datasets/' + file_name             # яндексовский путь
    pth2 = os.path.join('datasets', file_name)  # мой путь
    
    if os.path.exists(pth1):
        return pd.read_csv(pth1, sep=sep)
    elif os.path.exists(pth2):
        return pd.read_csv(pth2, sep=sep)
    
    # ни один путь не доступен
    raise ValueError("ERROR: Neither Yandex nor local path is reacable...")


# определение функции обзора данных
# ===============================================
# на вход подаётся датафрейм df
# на выходе:
#     - 10 случайных строк df
#     - информация df.info()
#     - количество явных дубликатов в строках df
#     - процент пропусков данных в столбцах df
# ===============================================
def data_observe(df):
    row_num = 5    # количество отображаемых строк таблицы
    
    print('Размерность данных (row, col):', df.shape)
    print('============================\n')
    
    print('Произвольные строки таблицы:')
    print('============================')
    if len(df) >= row_num:
        display(df.sample(row_num))
    else:
        display(df)

    print('\nИнформация о таблице:')
    print('=====================')
    df.info()
    
    print('\nКоличество явных дубликатов в таблице:')
    print('======================================')
    print(df.duplicated().sum())
    
    print('\nПроцент пропусков в столбцах:')
    print('=============================')
    display(pd.DataFrame(
                round((df.isna().mean()*100),2), columns=['NaNs, %'])
                .sort_values(by='NaNs, %', ascending=False
            )
        .style.format('{:.2f}')
        .background_gradient('coolwarm')
    )


try:
    new_users = open_file('final_ab_new_users.csv', sep=',')
    data_observe(new_users)
except ValueError as err:
    print(err)

Размерность данных (row, col): (61733, 4)
============================

Произвольные строки таблицы:
============================

Информация о таблице:
=====================
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 61733 entries, 0 to 61732
Data columns (total 4 columns):
 #   Column      Non-Null Count  Dtype 
---  ------      --------------  ----- 
 0   user_id     61733 non-null  object
 1   first_date  61733 non-null  object
 2   region      61733 non-null  object
 3   device      61733 non-null  object
dtypes: object(4)
memory usage: 1.9+ MB

Количество явных дубликатов в таблице:
======================================
0

Процент пропусков в столбцах:
=============================


try:
    participants = open_file('final_ab_participants.csv', sep=',')
    data_observe(participants)
except ValueError as err:
    print(err)

Размерность данных (row, col): (18268, 3)
============================

Произвольные строки таблицы:
============================

Информация о таблице:
=====================
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 18268 entries, 0 to 18267
Data columns (total 3 columns):
 #   Column   Non-Null Count  Dtype 
---  ------   --------------  ----- 
 0   user_id  18268 non-null  object
 1   group    18268 non-null  object
 2   ab_test  18268 non-null  object
dtypes: object(3)
memory usage: 428.3+ KB

Количество явных дубликатов в таблице:
======================================
0

Процент пропусков в столбцах:
=============================


try:
    events = open_file('final_ab_events.csv', sep=',')
    data_observe(events)
except ValueError as err:
    print(err)

Размерность данных (row, col): (440317, 4)
============================

Произвольные строки таблицы:
============================

Информация о таблице:
=====================
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 440317 entries, 0 to 440316
Data columns (total 4 columns):
 #   Column      Non-Null Count   Dtype  
---  ------      --------------   -----  
 0   user_id     440317 non-null  object 
 1   event_dt    440317 non-null  object 
 2   event_name  440317 non-null  object 
 3   details     62740 non-null   float64
dtypes: float64(1), object(3)
memory usage: 13.4+ MB

Количество явных дубликатов в таблице:
======================================
0

Процент пропусков в столбцах:
=============================


try:
    marketing_events = open_file('ab_project_marketing_events.csv', sep=',')
    data_observe(marketing_events)
except ValueError as err:
    print(err)

Размерность данных (row, col): (14, 4)
============================

Произвольные строки таблицы:
============================

Информация о таблице:
=====================
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 14 entries, 0 to 13
Data columns (total 4 columns):
 #   Column     Non-Null Count  Dtype 
---  ------     --------------  ----- 
 0   name       14 non-null     object
 1   regions    14 non-null     object
 2   start_dt   14 non-null     object
 3   finish_dt  14 non-null     object
dtypes: object(4)
memory usage: 576.0+ bytes

Количество явных дубликатов в таблице:
======================================
0

Процент пропусков в столбцах:
=============================


# приведём дату регистрации пользователей
new_users.first_date = pd.to_datetime(new_users.first_date)
print(new_users.first_date.dtype)

# приведём дату и время событий
events.event_dt = pd.to_datetime(events.event_dt)
print(events.event_dt.dtype)

# приведём дату и время начала и окончания маркетинговых событий
marketing_events.start_dt = pd.to_datetime(marketing_events.start_dt)
marketing_events.finish_dt = pd.to_datetime(marketing_events.finish_dt)
print(marketing_events.start_dt.dtype)
print(marketing_events.finish_dt.dtype)

datetime64[ns]
datetime64[ns]
datetime64[ns]
datetime64[ns]


print('Количество привлечённых уникальных пользователей:', 
      new_users.user_id.nunique())
print('Количество уникальных дней привлечения:', 
      new_users.first_date.nunique())
print('Дни, в которые приходили пользователи: с', 
      new_users.first_date.min(), 'по', new_users.first_date.max())
print('Количество уникальных регионов привлечения:', 
      new_users.region.nunique())
print('Список регионов:', 
      new_users.region.unique())
print('Количество уникальных названий устройств:', 
      new_users.device.nunique())
print('Список устройств:', 
      new_users.device.unique())

Количество привлечённых уникальных пользователей: 61733
Количество уникальных дней привлечения: 17
Дни, в которые приходили пользователи: с 2020-12-07 00:00:00 по 2020-12-23 00:00:00
Количество уникальных регионов привлечения: 4
Список регионов: ['EU' 'N.America' 'APAC' 'CIS']
Количество уникальных названий устройств: 4
Список устройств: ['PC' 'Android' 'iPhone' 'Mac']


print('Количество привлечённых уникальных пользователей:', 
      new_users.query('region == "EU"').user_id.nunique())
print('Количество уникальных дней привлечения:', 
      new_users.query('region == "EU"').first_date.nunique())
print('Дни, в которые приходили пользователи: с', 
      new_users.first_date.min(), 'по', new_users.first_date.max())
print('Список регионов:', 
      new_users.query('region == "EU"').region.unique())

Количество привлечённых уникальных пользователей: 46270
Количество уникальных дней привлечения: 17
Дни, в которые приходили пользователи: с 2020-12-07 00:00:00 по 2020-12-23 00:00:00
Список регионов: ['EU']


print('Количество уникальных участников тестов:', 
      participants.user_id.nunique())
print('Количество уникальных групп:', 
      participants.group.nunique())
print('Список групп:', 
      participants.group.sort_values().unique())
print('Количество уникальных названий тестов:', 
      participants.ab_test.nunique())
print('Список тестов:', 
      participants.ab_test.sort_values().unique())

Количество уникальных участников тестов: 16666
Количество уникальных групп: 2
Список групп: ['A' 'B']
Количество уникальных названий тестов: 2
Список тестов: ['interface_eu_test' 'recommender_system_test']


print('Количество уникальных пользователей:', 
      events.user_id.nunique())
print('Количество уникальных названий событий:', 
      events.event_name.nunique())
print('Список названий событий:', 
      events.event_name.sort_values().unique())
print('Количество уникальных примечаний:', 
      events.details.nunique())
print('Список примечаний:', 
      events.details.sort_values().unique())
print('Начало логирования событий:', 
      events.event_dt.min())
print('Конец логирования событий:', 
      events.event_dt.max())

Количество уникальных пользователей: 58703
Количество уникальных названий событий: 4
Список названий событий: ['login' 'product_cart' 'product_page' 'purchase']
Количество уникальных примечаний: 4
Список примечаний: [  4.99   9.99  99.99 499.99    nan]
Начало логирования событий: 2020-12-07 00:00:33
Конец логирования событий: 2020-12-30 23:36:33


# посчитаем количество событий на каждую временную метку
event_dup = (
    events
    .groupby(by='event_dt')
    .agg({'user_id':['count', 'nunique'], 'event_name':['count', 'nunique']})
)

event_dup.columns = ['user_count', 'user_unique', 'event_count', 'event_unique']

# удалим метки с единственным событием
event_dup = (
    event_dup
    .query('user_count > 1 or event_count > 1')
    .sort_values(by=['user_count', 'event_count'], ascending=False)
)

event_dup


round(len(event_dup) * 100 / len(events), 2)

27.33


events[events.event_dt.duplicated()].sort_values(by=['user_id', 'event_dt']).head(10)


print('Общее количество маркетинговых акций:', len(marketing_events))
print('Количество уникальных названий акций:', marketing_events.name.nunique())
print('Количество уникальных регионов:', marketing_events.regions.nunique())
print('Состав регионов:', marketing_events.regions.unique())
print('Количество уникальных дат начала:', marketing_events.start_dt.nunique())
print('Количество уникальных дат начала:', marketing_events.finish_dt.nunique())

Общее количество маркетинговых акций: 14
Количество уникальных названий акций: 14
Количество уникальных регионов: 6
Состав регионов: ['EU, N.America' 'EU, CIS, APAC, N.America' 'N.America' 'APAC'
 'EU, CIS, APAC' 'CIS']
Количество уникальных дат начала: 14
Количество уникальных дат начала: 14


# выделим пользователей из EU
eu_new_users = new_users.query('region == "EU"').copy()
print('Количество новых пользователей из EU:', len(eu_new_users))

# выделим из них пользователей, привлечённых по 21 декабря включительно
good_eu_new_users = eu_new_users.query('first_date < "2020-12-22"')
print('Количество пользователей из EU, привлечённых по 21 декабря:', 
      len(good_eu_new_users), '(',
      round(len(good_eu_new_users) * 100 / len(eu_new_users), 2), '% )'
)

# выделим пользователей, привлечённых после 21 декабря 
bad_eu_new_users = eu_new_users.query('first_date > "2020-12-21"')
print('Количество пользователей из EU, привлечённых по 21 декабря:', 
      len(bad_eu_new_users), '(',
      round(len(bad_eu_new_users) * 100 / len(eu_new_users), 2), '% )'
)

Количество новых пользователей из EU: 46270
Количество пользователей из EU, привлечённых по 21 декабря: 42340 ( 91.51 % )
Количество пользователей из EU, привлечённых по 21 декабря: 3930 ( 8.49 % )


(
    bad_eu_new_users
    .merge( # добавим информацию о тестах
        participants, on='user_id', how='left'
    )
    .dropna() # удалим пользователей без тестов
    .groupby(by=['ab_test', 'group'])
    .agg({'user_id':'nunique'})
)


# выделим информацию по участникам тестов
eu_participants = (
    good_eu_new_users
    .merge( # добавим информацию о тестах
        participants, on='user_id', how='left'
    )
    .dropna() # удалим пользователей без тестов
)
# сгруппируем по тестам и группам
eu_participant_groups = (
    eu_participants
    .groupby(by=['ab_test', 'group'], as_index=False)
    .agg({'user_id':'nunique'})
    .merge( # добавим общее количество пользователей теста
        eu_participants
        .groupby(by=['ab_test'], as_index=False)
        .agg({'user_id':'nunique'})
        .rename(columns={'user_id':'total_users'}),
        on='ab_test', how='left'
    )
)
eu_participant_groups['percent'] = (
    (eu_participant_groups['user_id'] * 100 / 
     eu_participant_groups['total_users'])
    .round(2)
)

eu_participant_groups


# выделяем целевых участников
target_eu_participants = (eu_participants
                          .query('ab_test == "recommender_system_test"'))

# выясним, есть ли пересечение групп
display(
    target_eu_participants
    .groupby(by='user_id').agg({'group':'count'})
    .query('group > 1')
)

#  добавим для них заново информацию о тестах
target_eu_participants = (
    target_eu_participants 
    # уберём лишние столбцы
    .drop(columns=['first_date', 'region', 'device', 'group', 'ab_test'])
    # добавим вновь информацию о тестах
    .merge( 
        eu_participants, on='user_id', how='left'
    )
)

# выделим "двойных агентов"
double_test_perticipants = (
    target_eu_participants
    .groupby(by='user_id', as_index=False).agg({'ab_test':'count'})
    .query('ab_test > 1')
    .drop(columns=['ab_test']) # уберём лишние столбцы
    .merge( # добавим вновь информацию о тестах
        eu_participants, on='user_id', how='left'
    )
)

# добавим количество двойных участников
eu_participant_groups = (
    eu_participant_groups
    .merge( 
        # сгруппируем по тестам и группам
        double_test_perticipants
        .groupby(by=['ab_test', 'group'], as_index=False)
        .agg({'user_id':'nunique'})
        .rename(columns={'user_id':'double_user_count'}),
        on=['ab_test', 'group'], how='left'
    )
)
# вычислим % от численности группы теста
eu_participant_groups['double_user_pct'] = (
    (eu_participant_groups['double_user_count'] * 100 / 
     eu_participant_groups['user_id'])
    .round(2)
)
eu_participant_groups


# снова удалим информацию о втором тесте
target_eu_participants = (eu_participants
                          .query('ab_test == "recommender_system_test"'))

# посчитаем количество устройств в группах
target_eu_participant_devices = (
    target_eu_participants
    .groupby(by=['group', 'device']).agg({'user_id':'count'})
    .rename(columns={'user_id':'participant_count'})
    # добавим количества устройств у двойных участников
    .join(
        double_test_perticipants
        .groupby(by=['group', 'device']).agg({'user_id':'count'})
        .rename(columns={'user_id':'double_participant_count'}),
        how='left'
    )
)
# вычислим %
target_eu_participant_devices['pct'] = (
    (target_eu_participant_devices['double_participant_count'] * 100 / 
     target_eu_participant_devices['participant_count'])
    .round(2)
)

target_eu_participant_devices


len(target_eu_participants) / len(good_eu_new_users)

0.15


target_eu_participant_events = (
    target_eu_participants
    # удалим лишние данные
    .drop(columns=['first_date', 'region', 'device', 'ab_test'])
    .merge(
        events, on='user_id', how='left'
    )
)
# проверим, у всех ли участников были события
target_eu_participant_events.event_name.isna().sum()

2870


target_eu_participant_events.event_name.isna().sum() / len(target_eu_participants)

0.451897339001732


# выделим пользователей без событий
target_eu_participant_no_events = (
    target_eu_participant_events[
        target_eu_participant_events['event_name'].isna()
    ]
)

# посчитаем по группам теста
target_eu_participant_no_events_groups = (
    target_eu_participant_no_events
    .groupby(by='group').agg({'user_id':'count'})
    .rename(columns={'user_id':'no_event_users'})
    .join(
        target_eu_participants.groupby(by='group').agg({'user_id':'count'}),
        how='left'
    )
    .rename(columns={'user_id':'total_users'})
)
# оценим % пользователей без событий
target_eu_participant_no_events_groups['pct'] = (
    (target_eu_participant_no_events_groups['no_event_users'] * 100 / 
     target_eu_participant_no_events_groups['total_users'])
    .round(2)
)
# оценим количество пользователей с событиями
target_eu_participant_no_events_groups['delta'] = (
    (target_eu_participant_no_events_groups['total_users'] - 
     target_eu_participant_no_events_groups['no_event_users'])
)
target_eu_participant_no_events_groups


(
    target_eu_participant_no_events_groups.loc['B','delta'] /
    target_eu_participant_no_events_groups.loc['A','delta']
)

0.33678955453149


(
    target_eu_participant_no_events
    .drop(columns=['group', 'event_dt', 'event_name', 'details'])
    .merge(
        new_users, on='user_id', how='left'
    )
    .sort_values(by='first_date')
    ['first_date'].unique()
)

array(['2020-12-07T00:00:00.000000000', '2020-12-08T00:00:00.000000000',
       '2020-12-09T00:00:00.000000000', '2020-12-10T00:00:00.000000000',
       '2020-12-11T00:00:00.000000000', '2020-12-12T00:00:00.000000000',
       '2020-12-13T00:00:00.000000000', '2020-12-14T00:00:00.000000000',
       '2020-12-15T00:00:00.000000000', '2020-12-16T00:00:00.000000000',
       '2020-12-17T00:00:00.000000000', '2020-12-18T00:00:00.000000000',
       '2020-12-19T00:00:00.000000000', '2020-12-20T00:00:00.000000000',
       '2020-12-21T00:00:00.000000000'], dtype='datetime64[ns]')


target_eu_participant_events = (
    target_eu_participant_events.dropna(axis=0, thresh=4)
)
target_eu_participant_events


# начало теста по логам
ab_test_start_dt = target_eu_participant_events.event_dt.min()
# конец теста по логам
ab_test_end_dt = target_eu_participant_events.event_dt.max()
(
    marketing_events[marketing_events['regions'].str.contains('EU')]
    .query('start_dt <= @ab_test_end_dt and finish_dt >= @ab_test_start_dt')
)


# визуализируем распределение
fig = px.histogram(target_eu_participant_events, x="event_name", color="group")
# зададим названия гистограммы и осей
fig.update_layout(
    title_text='Распределение количества событий разных типов в разрезе групп',
    xaxis_title_text='События',
    yaxis_title_text='Количество'
)
fig.show()


# посчитаем, сколько событий совершил каждый пользователь каждой группы
events_by_user = (
    target_eu_participant_events
    .groupby(by=['group', 'user_id'], as_index=False)
    .agg({'event_name':'count'})
    .rename(columns={'event_name':'event_count'})
)

# визуализируем распределение
fig = px.histogram(events_by_user, x="event_count", color="group")
# зададим названия гистограммы и осей
fig.update_layout(
    title_text='Распределение количества событий на пользователя в разрезе групп',
    xaxis_title_text='Количество событий',
    yaxis_title_text='Частота'
)
fig.show()


# визуализируем распределение
fig = px.histogram(target_eu_participant_events, x="event_dt", color="group")
# зададим названия гистограммы и осей
fig.update_layout(
    title_text='Распределение количества событий по времени в разразе групп',
    xaxis_title_text='Дата и время',
    yaxis_title_text='Количество'
)
fig.show()


# зададим нумерацию событий в воронке
event_list = target_eu_participant_events.event_name.unique()
event_num_list = []

for evt in event_list:
    if evt == 'login':
        event_num_list.append(1)
    elif evt == 'product_page':
        event_num_list.append(2)
    elif evt == 'product_cart':
        event_num_list.append(3)
    elif evt == 'purchase':
        event_num_list.append(4)
    else:
        # исключительная ситуация, если в воронке прявятся новые события, 
        # потребуется изменить код
        event_num_list.append(-1) 

# соберём словарь нумерации для воронки
event_num = pd.DataFrame(dict(number=event_num_list, event_name=event_list))
event_num


# построим воронку
funnel = (
    target_eu_participant_events
    .groupby(by=['event_name', 'group'], as_index=False)
    .agg({'user_id':'nunique'})
    .merge(
        event_num, on='event_name', how='left'
    )
    .sort_values(by=['number', 'group'])
)
display(funnel)

# визуализируем воронку
fig = go.Figure()
groups = funnel.group.unique()

for g in groups:
    fig.add_trace(go.Funnel(
        name=g,
        y=list(funnel.query('group == @g')['event_name']),
        x=list(funnel.query('group == @g')['user_id']),
        textinfo = "value+percent initial+percent previous"
    ))

# зададим названия гистограммы и осей
fig.update_layout(
    title_text='Воронка событий АВ-теста',
    yaxis_title_text='Событие'
)
fig.show()


# последние даты пользования и даты привлечения
target_retention = (
    target_eu_participant_events
    .groupby(by=['group', 'user_id'], as_index=False)
    .agg({'event_dt':'max'})
    .rename(columns={'event_dt':'last_event_dt'})
    .merge(
        new_users[['user_id', 'first_date']], on='user_id', how='left'
    )
)

# визуализируем привлечение
fig = px.histogram(target_retention, x="first_date", color="group")
# зададим названия гистограммы и осей
fig.update_layout(
    title_text='Распределение дней привлечения в разразе групп',
    xaxis_title_text='Дата',
    yaxis_title_text='Количество'
)
fig.show()

# визуализируем отток
fig = px.histogram(target_retention, x="last_event_dt", color="group")
# зададим названия гистограммы и осей
fig.update_layout(
    title_text='Распределение дней оттока в разразе групп',
    xaxis_title_text='Дата и время',
    yaxis_title_text='Количество'
)
fig.show()


# добавим даты привлечения
target_eu_participant_events = (
    target_eu_participant_events
    # добавим даты привлечения
    .merge(
        new_users[['user_id', 'first_date']], 
        on='user_id', how='left'
    )
)

# посчитаем дневные лайфтаймы
target_eu_participant_events['lifetime'] = (
    target_eu_participant_events['event_dt'] - 
    target_eu_participant_events['first_date']
).dt.days

target_eu_participant_events.sample(10)


# визуализируем распределение событий группы А
fig = px.histogram(target_eu_participant_events.query('group == "A"'), 
                   x="lifetime", color="event_name")
# зададим названия гистограммы и осей
fig.update_layout(
    title_text='Распределение событий группы А по лайфтаймам',
    xaxis_title_text='Лайфтайм',
    yaxis_title_text='Количество'
)
fig.show()


# визуализируем распределение событий группы В
fig = px.histogram(target_eu_participant_events.query('group == "B"'), 
                   x="lifetime", color="event_name")
# зададим названия гистограммы и осей
fig.update_layout(
    title_text='Распределение событий группы В по лайфтаймам',
    xaxis_title_text='Лайфтайм',
    yaxis_title_text='Количество'
)
fig.show()


target_events_14 = (
    target_eu_participant_events.query('lifetime < 14')
)
target_events_14


# построим воронку
funnel_14 = (
    target_events_14
    .groupby(by=['event_name', 'group'], as_index=False)
    .agg({'user_id':'nunique'})
    .merge(
        event_num, on='event_name', how='left'
    )
    .sort_values(by=['number', 'group'])
)
display(funnel_14)

# визуализируем воронку
fig = go.Figure()
groups = funnel_14.group.unique()

for g in groups:
    fig.add_trace(go.Funnel(
        name=g,
        y=list(funnel_14.query('group == @g')['event_name']),
        x=list(funnel_14.query('group == @g')['user_id']),
        textinfo = "value+percent initial"
    ))

# зададим названия гистограммы и осей
fig.update_layout(
    title_text='Воронка событий АВ-теста за первые 14 дней',
    yaxis_title_text='Событие'
)
fig.show()


# сгруппируем данные о событиях
funnel_14_comparison = (
    # посчитаем количество пользователей группы А по этапам воронки
    funnel_14.query('group == "A"')
    .merge( # добавим общую численность группы А
        target_events_14
        .groupby(by='group', as_index=False).agg({'user_id':'nunique'})
        .rename(columns={'user_id':"total_users"}),
        on='group', how='left'
    )
    .rename(columns={'user_id':'stage_users_a', 'total_users':'total_users_a'})
    .drop(columns=['group', 'number'])
    .merge( # добавим количество пользователей группы В по этапам воронки
        funnel_14.query('group == "B"')
        .merge( # добавим общую численность группы В
            target_events_14
            .groupby(by='group', as_index=False).agg({'user_id':'nunique'})
            .rename(columns={'user_id':"total_users"}),
            on='group', how='left'
        )
        .rename(columns={'user_id':'stage_users_b', 'total_users':'total_users_b'})
        .drop(columns=['group', 'number']),
        on='event_name', how='left'
    )
)

# посчитаем отношение конверсий по этапам
funnel_14_comparison['ratio'] = (
    (funnel_14_comparison['stage_users_b'] * funnel_14_comparison['total_users_a']) /
    (funnel_14_comparison['total_users_b'] * funnel_14_comparison['stage_users_a'])
).round(2)

funnel_14_comparison


# определение функции статистического критерия на равенство долей
# =========================================================================
def prop_difference_criteria(
    df,          # датафрейм с данными пропорций 
    part_col,    # числитель пропорции
    full_col,    # знаменатель пропорции
    alpha=.05    # критический уровень статистической значимости
    
):
    alpha = alpha

    successes = np.array(df[part_col])
    trials = np.array(df[full_col])

    # пропорция успехов в первой группе:
    p1 = successes[0]/trials[0]
    # пропорция успехов во второй группе:
    p2 = successes[1]/trials[1]
    # пропорция успехов в комбинированном датасете:
    p_combined = (successes[0] + successes[1]) / (trials[0] + trials[1])
    # разница пропорций в датасетах
    difference = p1 - p2
    
    # считаем статистику в ст.отклонениях стандартного нормального распределения
    z_value = difference / mth.sqrt(p_combined * (1 - p_combined) * 
                                (1/trials[0] + 1/trials[1]))
    
    # задаем стандартное нормальное распределение (среднее 0, ст.отклонение 1)
    distr = st.norm(0, 1)  

    # считаем вероятность того, что статистика "уехала" от 0 на заданную величину 
    # или больше, с использованием кумулятивной функции распределения (для 
    # нормального распределения)
    p_value = (1 - distr.cdf(abs(z_value))) * 2

    print('p-значение: ', p_value)

    if p_value < alpha:
        print('Отвергаем нулевую гипотезу: между долями есть значимая разница')
    else:
        print(
            'Не получилось отвергнуть нулевую гипотезу, нет оснований считать доли разными'
        )


# сформируем данные для теста
test_data = (
    funnel_14
    .merge(
        target_events_14
        .groupby(by='group', as_index=False).agg({'user_id':'nunique'})
        .rename(columns={'user_id':"total_users"}),
        on='group', how='left'
    )
    .drop(columns=['number'])
    .query('event_name == "product_page"')
)
display(test_data)

# запустим тест на равенство долей
prop_difference_criteria(test_data, 'user_id', 'total_users')

p-значение:  6.942739359416805e-06
Отвергаем нулевую гипотезу: между долями есть значимая разница


# сформируем данные для теста
test_data = (
    funnel_14
    .merge(
        target_events_14
        .groupby(by='group', as_index=False).agg({'user_id':'nunique'})
        .rename(columns={'user_id':"total_users"}),
        on='group', how='left'
    )
    .drop(columns=['number'])
    .query('event_name == "product_cart"')
)
display(test_data)

# запустим тест на равенство долей
prop_difference_criteria(test_data, 'user_id', 'total_users')

p-значение:  0.21469192029582396
Не получилось отвергнуть нулевую гипотезу, нет оснований считать доли разными


# сформируем данные для теста
test_data = (
    funnel_14
    .merge(
        target_events_14
        .groupby(by='group', as_index=False).agg({'user_id':'nunique'})
        .rename(columns={'user_id':"total_users"}),
        on='group', how='left'
    )
    .drop(columns=['number'])
    .query('event_name == "purchase"')
)
display(test_data)

# запустим тест на равенство долей
prop_difference_criteria(test_data, 'user_id', 'total_users')

p-значение:  0.04652482738393027
Отвергаем нулевую гипотезу: между долями есть значимая разница

	user_id	group	ab_test
11574	3EE718562551ECDD	B	interface_eu_test
11317	CA640B1407337D93	B	interface_eu_test
10881	5B6CAF9FF9207A0D	A	interface_eu_test
3115	9D7EACF1BBB179BC	B	recommender_system_test
10698	75654D851F8C8F59	A	interface_eu_test

	user_id	event_dt	event_name	details
74147	06F6F2EC08558DC0	2020-12-12 15:43:52	product_cart	NaN
131856	7C14AF59F1C215C0	2020-12-08 09:06:49	product_page	NaN
436079	CB649BD92A6AC43E	2020-12-29 15:51:46	login	NaN
255937	39FB64068022CECD	2020-12-08 10:08:55	login	NaN
42919	203773F2A53233A8	2020-12-22 17:47:33	purchase	4.99

	name	regions	start_dt	finish_dt
8	International Women's Day Promo	EU, CIS, APAC	2020-03-08	2020-03-10
7	Labor day (May 1st) Ads Campaign	EU, CIS, APAC	2020-05-01	2020-05-03
2	St. Patric's Day Promo	EU, N.America	2020-03-17	2020-03-19
13	Chinese Moon Festival	APAC	2020-10-01	2020-10-07
9	Victory Day CIS (May 9th) Event	CIS	2020-05-09	2020-05-11

	user_id	event_dt	event_name	details
157324	000199F1887AE5E6	2020-12-14 09:56:09	product_page	NaN
299212	000199F1887AE5E6	2020-12-14 09:56:09	login	NaN
81751	000199F1887AE5E6	2020-12-15 07:22:56	product_cart	NaN
163536	000199F1887AE5E6	2020-12-15 07:22:56	product_page	NaN
308595	000199F1887AE5E6	2020-12-15 07:22:56	login	NaN
97349	000199F1887AE5E6	2020-12-20 06:36:35	product_cart	NaN
355840	000199F1887AE5E6	2020-12-20 06:36:35	login	NaN
367197	000199F1887AE5E6	2020-12-21 02:11:23	login	NaN
202344	000199F1887AE5E6	2020-12-21 02:11:24	product_page	NaN
385742	0002499E372175C7	2020-12-22 03:49:52	login	NaN

	ab_test	group	user_id	total_users	percent
0	interface_eu_test	A	5342	10565	50.56
1	interface_eu_test	B	5223	10565	49.44
2	recommender_system_test	A	3634	6351	57.22
3	recommender_system_test	B	2717	6351	42.78

Проверка результатов AB-тестирования¶

Содержание

Библиотеки, используемые в исследовании¶

Загрузка и обзор данных¶

Определение функций загрузки и обзора данных¶

Обзор файла `final_ab_new_users.csv`¶

Обзор файла `final_ab_participants.csv`¶

Обзор файла `final_ab_events.csv`¶

Обзор файла `ab_project_marketing_events.csv`¶

Выводы¶

Предварительная обработка данных¶

Выводы¶

Исследовательский анализ данных (EDA)¶

Изучение состава значений столбцов¶

Оценка корректности проведения АВ-теста¶

Исследование распределений и воронки¶

Выводы¶

Оценка результатов АВ-теста¶

Построение и анализ воронки за 14 дней теста¶

Оценка статистической разницы долей¶

Гипотеза о разнице конверсий в этап `product_page` для групп А и В¶

Гипотеза о разнице конверсий в этап `product_cart` для групп А и В¶

Гипотеза о разнице конверсий в этап `purchase` для групп А и В¶

Выводы¶

Итоговые выводы исследования и рекомендации¶

	user_id	first_date	region	device
32400	FB08394C20381E32	2020-12-23	N.America	Mac
36179	94780B0323120EE4	2020-12-10	N.America	PC
32676	74F16DCF9FE79A89	2020-12-23	EU	Android
30168	13781220341546B3	2020-12-16	EU	Android
21234	22B322EF0FED6148	2020-12-15	EU	PC

	user_count	user_unique	event_count	event_unique
event_dt
2020-12-14 18:54:55	10	4	10	4
2020-12-23 02:37:24	10	3	10	4
2020-12-13 06:00:54	9	3	9	4
2020-12-20 02:51:18	9	3	9	4
2020-12-21 21:14:13	9	4	9	4
...	...	...	...	...
2020-12-30 15:26:13	2	1	2	2
2020-12-30 16:47:56	2	1	2	2
2020-12-30 18:28:55	2	1	2	2
2020-12-30 20:41:37	2	1	2	2
2020-12-30 23:02:44	2	1	2	2

		participant_count	double_participant_count	pct
group	device
A	Android	1590	766	48.18
	Mac	354	188	53.11
	PC	964	461	47.82
	iPhone	726	325	44.77
B	Android	1228	612	49.84
	Mac	250	174	69.60
	PC	657	381	57.99
	iPhone	582	297	51.03

	user_id	group	event_dt	event_name	details
0	D72A72121175D8BE	A	2020-12-07 21:52:10	product_page	NaN
1	D72A72121175D8BE	A	2020-12-07 21:52:07	login	NaN
3	DD4352CDCF8C3D57	B	2020-12-07 15:32:54	product_page	NaN
4	DD4352CDCF8C3D57	B	2020-12-08 08:29:31	product_page	NaN
5	DD4352CDCF8C3D57	B	2020-12-10 18:18:27	product_page	NaN
...	...	...	...	...	...
26284	0416B34D35C8C8B8	A	2020-12-21 22:28:29	product_page	NaN
26285	0416B34D35C8C8B8	A	2020-12-24 09:12:51	product_page	NaN
26286	0416B34D35C8C8B8	A	2020-12-20 20:58:25	login	NaN
26287	0416B34D35C8C8B8	A	2020-12-21 22:28:29	login	NaN
26288	0416B34D35C8C8B8	A	2020-12-24 09:12:49	login	NaN

	event_name	group	user_id	number
0	login	A	2604	1
1	login	B	877	1
4	product_page	A	1685	2
5	product_page	B	493	2
2	product_cart	A	782	3
3	product_cart	B	244	3
6	purchase	A	833	4
7	purchase	B	249	4

	user_id	group	event_dt	event_name	details	first_date	lifetime
4943	4D2B0FBB9E528D60	A	2020-12-15 09:18:40	product_page	NaN	2020-12-14	1
1511	1AA90C1AD5727610	B	2020-12-07 17:17:15	login	NaN	2020-12-07	0
13874	60E68A4F33951169	A	2020-12-20 00:59:28	login	NaN	2020-12-16	4
21336	6F70F06DD209676B	A	2020-12-26 06:11:19	product_page	NaN	2020-12-13	13
20087	72742C5F312A1FEC	B	2020-12-20 14:13:18	login	NaN	2020-12-19	1
4157	79913E8816E3DA5D	A	2020-12-17 12:11:29	product_cart	NaN	2020-12-14	3
3395	9DB76819BAB65ED6	A	2020-12-25 06:36:15	login	NaN	2020-12-14	11
8660	8EB70A4733EED0BA	A	2020-12-21 05:41:41	purchase	4.99	2020-12-08	13
15522	6687D5BCA6CD3141	A	2020-12-18 23:31:46	product_cart	NaN	2020-12-17	1
4865	B85F36F6515DAB84	A	2020-12-16 19:05:05	purchase	4.99	2020-12-14	2

	NaNs, %
user_id	0.00
first_date	0.00
region	0.00
device	0.00

	NaNs, %
user_id	0.00
group	0.00
ab_test	0.00

	NaNs, %
details	85.75
user_id	0.00
event_dt	0.00
event_name	0.00

	NaNs, %
name	0.00
regions	0.00
start_dt	0.00
finish_dt	0.00

Проверка результатов AB-тестирования¶

Содержание

Библиотеки, используемые в исследовании¶

Загрузка и обзор данных¶

Определение функций загрузки и обзора данных¶

Обзор файла final_ab_new_users.csv¶

Обзор файла final_ab_participants.csv¶

Обзор файла final_ab_events.csv¶

Обзор файла ab_project_marketing_events.csv¶

Выводы¶

Предварительная обработка данных¶

Выводы¶

Исследовательский анализ данных (EDA)¶

Изучение состава значений столбцов¶

Оценка корректности проведения АВ-теста¶

Исследование распределений и воронки¶

Выводы¶

Оценка результатов АВ-теста¶

Построение и анализ воронки за 14 дней теста¶

Оценка статистической разницы долей¶

Гипотеза о разнице конверсий в этап product_page для групп А и В¶

Гипотеза о разнице конверсий в этап product_cart для групп А и В¶

Гипотеза о разнице конверсий в этап purchase для групп А и В¶

Выводы¶

Итоговые выводы исследования и рекомендации¶

Обзор файла `final_ab_new_users.csv`¶

Обзор файла `final_ab_participants.csv`¶

Обзор файла `final_ab_events.csv`¶

Обзор файла `ab_project_marketing_events.csv`¶

Гипотеза о разнице конверсий в этап `product_page` для групп А и В¶

Гипотеза о разнице конверсий в этап `product_cart` для групп А и В¶

Гипотеза о разнице конверсий в этап `purchase` для групп А и В¶